Nikos Zachariadis ra đời tại Edirne, Adrianople Vilayet, Đế chế Ottoman, vào năm 1903, trong một gia đình thuộc sắc tộc Hy Lạp. Cha của ông, Panagiotis Zachariadis, có gốc tiểu tư sản, và làm chuyên gia trong công ty Regie, một công ty độc quyền về mặt hàng thuốc lá tại Thổ Nhĩ Kỳ. Vào năm 1919, Nikos Zachariadis chuyển tới Constantinople, tại đây ông làm nhiều công việc, bao gồm làm lính. Cũng ở Constantinople ông đã tham gia phong trào của tầng lớp lao động đầu tiên. Sau thất bại của Hy Lạp trong Chiến tranh Hy Lạp - Thổ Nhĩ Kỳ và việc trao đổi dân cư giữa hai nước, gia đình Zachariadis bị tái định cư bắt buộc ở Hy Lạp và rơi vào cảnh nghèo đói. Trong 2 năm 1922-23 ông tìm đến Liên bang Xô Viết, ở đây ông trở thành một thành viên của Komsomol (Đoàn Thanh niên Cộng sản Lenin). Ông theo học tại nhiều học viện chính trị và quân sự của chính phủ Liên Xô và khối Quốc tế cộng sản, trong đó có Trường Quốc tế Lenin.